ReLU 函數
rectified linear function。rectified linear unit。rectifier。ramp 函數
$ x_+:=\max\{0,x\}
Laplace 變換$ {\cal L}\lbrack x_+\rbrack=\frac 1{s^2} softplus$ \log(1+e^x)
Gaussian 誤差線形函數 (Gaussian error linear units)$ xP({\cal N}(0,1)\le x)
swish$ \frac x{1+e^{-\beta x}}
mish$ \tanh(\log(1+e^x))